Viện được thành lập năm 1935 với tên là "Hội nghiên cứu Khoa học Azerbaijan", ban đầu trực thuộc Đại học quốc gia Baku, sau đó trực thuộc Viện hàn lâm Khoa học Liên Xô. Năm 1945, Hội đồng Ủy viên Nhân dân của Liên Xô ra lệnh cho Hội này tổ chức lại thành Viện hàn lâm Khoa học của Cộng hòa xã hội xô Viết Azerbaijan. Trong những năm đầu, Viện có 15 viện sĩ, trong đó có Uzeyir Hajibeyov và Samad Vurgun.[1]

Trụ sở của Ban chủ tịch Viện hiện nay ở tòa nhà Ismailiyya lịch sử trên đường Istiglaliyyat ở trung tâm thành phố Baku.